3 de febrero del 2023

Agenda

  • Introducción
    • Motivación
    • Planteamiento del problema
    • Estado del arte
    • Hipótesis y objetivos
    • Contribución y aplicaciones
  • Metodología propuesta
    • Descripción la metodología de entrenamiento
    • Enfoque para resolver la tarea
  • Resultados
  • Conclusiones y trabajo futuro

Introducción

Motivación

Silver, David, et al. “Mastering chess and shogi by self-play with a general reinforcement learning algorithm.” (2017).
Berner, Christopher, et al. “Dota 2 with large scale deep reinforcement learning.” (2019).

Aprendizaje por refuerzo (RL)

Aprendizaje por refuerzo profundo (DRL)

DRL aplicado a la robótica

Andrychowicz, OpenAI: Marcin, et al. “Learning dexterous in-hand manipulation.” (2018).
Akkaya, Ilge, et al. “Solving rubik’s cube with a robot hand.” (2019).

Planteamiento del problema

Algunas de las complicaciones de aplicar directamente DRL a robots reales son:

  • Ineficiencia de muestreo
  • Riesgo de seguridad
  • Es difícil reiniciar el entorno

Aprendiendo en simulación

Tiempo de entrenamiento en DRL en simulación

“Learning dexterous in-hand manipulation” de OpenAI requirió de lo siguiente:

  • Simulador: MuJoCo
  • Recursos (CPU): 6144 núcleos de CPU
  • Recursos (GPU): 8 Nvidea V100 \(\approx\) 896 teraFLOPS
  • Entrenamiento: 40 hrs
  • Costo: $ 7418.88 USD

Estado del arte

Simulador Física Fotorrealista DR ROS GPU Multi-GPU
Gazebo ✅ ❌ ❌ ✅ ✅ ❌
Pybullet ✅ ❌ ❌ ❌ ✅ ❌
MuJoCo ✅ ❌ ❌ ❌ ❌ ❌
Unity ❌ ✅ ❌ ❌ ✅ ❌
Isaac Gym ✅ ✅ ✅ ✅ ✅ ✅

Isaac Gym

Learning Dexterity (OpenAI) con Isaac Gym

Simulador

Poder de cómputo

(CPU + GPUs)

Tiempo

(HRS)

Costo

(USD)
MuJoCo 6144 nucleos de CPU + 8 GPUs Nvidea V100 40 7,4188.88
Isaac Gym 320 nucleos de CPU + 1 GPU Nvidea A100 2 4.73

Makoviychuk, Viktor, et al. “Isaac gym: High performance gpu-based physics simulation for robot learning.” (2021).

Hipótesis

“Es posible generar una política de control optimizada para la solución de una tarea de seguimiento de trayectorias sobre superficies tridimensionales usando un robot manipulador, mediante un ambiente de simulación física realista que provea las observaciones necesarias para el entrenamiento, empleando una combinación de técnicas de control tradicionales y algoritmos de DRL de forma eficiente, reduciendo el número de interacciones del agente y los recursos computacionales durante el entrenamiento”

Objetivos

  • Realizar una comparación entre los simuladores robóticos y un estudio de compatibilidad con los frameworks de ML.
  • Proponer una arquitectura experimental que permita generar las observaciones necesarias para el entrenamiento de un agente que permita resolver la tarea asignada.
  • Hacer una comparación del rendimiento de entrenamiento, utilizando la metodología propuesta, variando los parámetros de simulación.

Contribución del proyecto

  1. Desarrollo de una metodología de entrenamiento de modelos de DRL para resolver tareas de seguimiento de trayectorias en superficies tridimensionales de forma end-to-end.
  2. Una política capaz de inferir la fuerza aplicada a los actuadores de un robot a partir de las imágenes de un sensor RGBD ubicado en el efector final.
  3. Proposición de una arquitectura de entrenamiento que implementa un simulador robótico de vanguardia y un framework de DL de alto rendimiento de manera eficiente.
  4. Reducción del tiempo y los recursos computacionales requeridos para el entrenamiento de modelos de DRL.

Aplicaciones

Aplicación directa de las políticas a la automatización de procesos industriales con robots:

  • Soldadura
  • Pintura
  • Aplicación de aditivos
  • Manufactura aditiva

Metodología

Arquitectura del sistema de aprendizaje

Observación

Generador de datos sintéticos de entrenamiento

\[ \mathbf{C}(u) = \sum_{i=0}^{i<n} N_{i,p}(u) \mathbf{P}_{i} \]

\[ N_{i, 0}(u)=\left\{\begin{array}{cc} 1 & \text { si } u_{i} \leq u<u_{i+1} \\ 0 & \text { si no } \end{array}\right. \]

\[ \begin{split} N_{i, p}(u) = \frac{u-u_{i}}{u_{i+p}-u_{i}} N_{i,p-1}(u) + \cdots \\ \frac{u_{i+p+1}-u}{u_{i+p+1}-u_{i+1}} N_{i+1, p-1}(u) \end{split} \]

Mapeo de la trayectoria 2D a 3D

\[ \begin{align*} \textbf{p}_{uv} &= -\begin{bmatrix} 2 \pi s + \pi \\ \pi t + \frac{\pi}{2} \end{bmatrix} \\\\ \textbf{p}_{xyz} &= r \begin{bmatrix} \cos{(v)} \cos{(u)} \\ \cos{(v)} \sin{(u)} \\ \sin{(v)} \end{bmatrix} \\\\ \textbf{n} &= \begin{bmatrix} \sin{(u)} \cos{(v)} \\ \sin{(v)} \sin{(u)} \\ \cos{(u)} \end{bmatrix} \end{align*} \]

Domain Randomization

Espacio de acción

\[ \tau = \textbf{J}_{ee}^{T}(\textbf{q}) \textbf{M}_{\textbf{x}_{ee}}(\textbf{q}) [k_{p}(\delta_x) + k_v(\delta_{\dot{x}})] + \textbf{g}(\textbf{q}) \]

Señal de recompensa

\[ \begin{align*} \text{Distancia} \rightarrow R_{d} &= -{\lVert \textbf{x}_{ee} - \textbf{x}_d \lVert}_2 \\\\ \text{Orientación} \rightarrow R_{o} &= -{\lVert \mathcal{H}(\textbf{q}_d, \textbf{q}^{*}_{ee}) \lVert}_2 \\\\ \text{Regularización} \rightarrow R_{c} &= -{\lVert \textbf{a} \lVert}^{2}_2 \\\\ \text{Recompensa final} \rightarrow R &= \alpha R_d + \beta R_o + \gamma R_c \end{align*} \]

Arquitectura de red neuronal

Algoritmo de entrenamiento (PPO-Clip)

PPO-Clip actualiza la política con: \[ \theta_{k+1} = \underset{\theta}{\mathrm{arg \space max}} \space \underset{s,a \sim \pi_{\theta_{k}}}{\mathrm{E}} \space \left[ L(s, a, \theta_k, \theta) \right] \]

Función objetivo: \[ L(s, a, \theta_k, \theta) = \min{\left( \frac{\pi_{\theta}(a|s)}{\pi_{\theta_{k}}(a|s)} A^{\pi_{\theta_{k}}}(s,a), \space\space g(\epsilon, A^{\pi_{\theta_{k}}}(s,a)) \right)} \]

Donde: \[ g(\epsilon, A) = \left\{\begin{array}{cc} (1 + \epsilon)A & \text { si } A \geq 0 \\ (1 - \epsilon)A & \text { si } A < 0 \end{array}\right. \]

Resultados

Experimento: El efecto de \(\lambda\)

Experimento: N. de entornos paralelos

Desempeño de la política

Métrica Promedio Mediana
Error en posición (mts) \(0.01 \pm 0.0003\) \(0.011\)
Error en orientación \(0.08 \pm 0.001\) \(0.089\)

Demo

Conclusiones y trabajo futuro

Conclusiones

  • Este trabajo propone metodología para resolver el problema de seguimiento de trayectoria en superficies tridimensionales de forma end-to-end, mediante una combinación de algoritmos de DRL y técnicas de control tradicionales.
  • La política generada tiene una tasa de éxito del 96% y un error en la posición de \(\pm\) 0.01 metros.
  • Se logró reducir en 30% el tiempo de entrenamiento mediante la paralelización de 512 ambientes en una sola GPU Nvidia 3070.
  • Este trabajo es pionero en resolver tareas de manipulación guiadas con visión en la plataforma de investigación de RL de Isaac Gym y podría habilitar el desarrollo de trabajos futuros en el área de DRL y visión por computadora.

Trabajo futuro

  • Ampliar el estudio a otros agentes manipuladores y el desarrollo de políticas de control generalizadas.
  • Transferir la política aprendida en simulación a agentes reales (i.e., sim2real) mediante el uso de técnicas de Domain Randomization.
  • Ampliar el alcance de la tarea a cualquier objeto 3D arbitrario.

Gracias por su atención.